Prometheus の storage

data/

ブロック ULID/

chunks/

000001

tombstones

index

meta.json

chunks_head/

000001

wal/

000000002

checkpoint.00000001/

00000000

2 時閒每の block に分けられる

chunks

時系列 data segment

壓縮濟み

古くなると、より長い期閒の block を 1 つに纏めて再壓縮する

512 MB 每に分けられる

tombstones

削除した時系列 data が入る

index

metadata.json

code:json

{

"version": 1,

"ulid": "01BZ033BRP0EQBFW51QKD1TT9Y",

"minTime": 1510718400000, // 保持データの開始時間

"maxTime": 1510747200000, // 保持データの終了時間

"stats": {

"numSamples": 21396291,

"numSeries": 176339,

"numChunks": 325936

},

"compaction": {

"level": 3, // コンパクションのレベル

"sources": [ // コンパクションした元のディレクトリ

"01BYZ7MCSVJHG5D17M4YZF0JD1",

"01BYZEG4434G74SCPWJGQ2TDEQ",

"01BYZNBVBAJ34NWT3CWRFNB43Z",

"01BYZW7JJ2YQVKM1WX08FDQ7ZN"

]

}

}

WAL

最低 3 file。少なくとも 2 時閒分の時系列 data を保持する

romote storage

Thanos

Cortex も S3 等は同じ

down sampling する